Clustering high-throughput sequencing data with Poisson mixture models

In recent years gene expression studies have increasingly made use of next generation sequencing technology. In turn, research concerning the appropriate statistical methods for the analysis of digital gene expression has flourished, primarily in the context of normalization and differential analysis. In this work, we focus on the question of clustering digital gene expression profiles as a means to discover groups of co-expressed genes. We propose two parameterizations of a Poisson mixture model to cluster expression profiles of high-throughput sequencing data. A set of simulation studies compares the performance of the proposed models with that of an approach developed for a similar type of data, namely serial analysis of gene expression. We also study the performance of these approaches on two real high-throughput sequencing data sets. The R package HTSCluster used to implement the proposed Poisson mixture models is available on CRAN. Key-words: Mixture models, clustering, co-expression, RNA-seq, EM-type algorithms ∗ INRA, UMR 1313 GABI, Jouy-en-Josas, France † INRIA Saclay Île-de-France, Orsay, France ‡ UMR INRA 1165 UEVE, ERL CNRS 8196, Unité de Recherche en Génomique Végétale, Evry, France § UMR AgroParisTech/INRA MIA 518, Paris, France ¶ Institut de Mathématiques de Toulouse, INSA de Toulouse, Université de Toulouse Classification de données de séquençage à haut-débit avec les modèles de mélange de Poisson Résumé : De plus en plus, les études d’expression de gènes utilisent les techniques de séquençage de nouvelle génération, entraînant une recherche grandissante sur les méthodes les plus appropriées pour l’exploitation des données digitales d’expression, à commencer pour leur normalisation et l’analyse différentielle. Ici, nous nous intéressons à la classification non supervisée des profils d’expression pour la découverte de groupes de gènes coexprimés. Nous proposons deux paramétrisations d’un modèle de mélange de Poisson pour classer des données de séquençage haut-débit. Par des simulations, nous comparons les performances de ces modèles avec des méthodes similaires conçus pour l’analyse en série de l’expression des gènes (SAGE). Nous étudions aussi les performances de ces modèles sur deux jeux de donnnées réelles. Le package R HTSCluster associé à cette étude est disponible sur le CRAN. Mots-clés : Modèles de mélange, classification, co-expression, RNA-seq, algorithmes de type EM Clustering HTS data with Poisson mixture models 3